conditional image leakage
https://gyazo.com/c52a7c91dfb2ea82be02fdd263e1b87e
> Conditional Image / DynamiCrafter / + Our Inference Strategy
https://cond-image-leak.github.io/Project
https://github.com/thu-ml/cond-image-leakagethu-ml/cond-image-leakage
https://arxiv.org/abs/2406.15735Identifying and Solving Conditional Image Leakage in Image-to-Video Diffusion Model
conditional image leakage (CIL)
image2videoができる拡散モデル(Stable Video Diffusion, DynamiCrafter etc.)は、入力された画像に頼りすぎてしまい、動きがほとんどないビデオができてしまう
GPT-4.icon通常、I2V生成では、ノイズの多い入力画像からビデオを作り、条件画像はそのサポート役としてディテールを補います。しかし、時間が経つとノイズの多い画像が情報を失い、条件画像のディテールだけが残ります。その結果、モデルは条件画像に頼りすぎ、ノイズの多い入力を無視するようになり、動きが少ない静止したビデオを生成してしまいます。